Validation of Soft Classification Models using Partial Class Memberships: An Extended Concept of Sensitivity & Co. applied to the Grading of Astrocytoma Tissues

We use partial class memberships in soft classification to model uncertain labelling and mixtures of classes. Partial class memberships are not restricted to predictions, but may also occur in reference labels (ground truth, gold standard diagnosis) for training and validation data. Classifier performance is usually expressed as fractions of the confusion matrix, such as sensitivity, specificity, negative and positive predictive values. We extend this concept to soft classification and discuss the bias and variance properties of the extended performance measures. Ambiguity in reference labels translates to differences between best-case, expected and worst-case performance. We show a second set of measures comparing expected and ideal performance which is closely related to regression performance, namely the root mean squared error RMSE and the mean absolute error MAE. All calculations apply to classical crisp classification as well as to soft classification (partial class memberships and/or one-class classifiers). The proposed performance measures allow to test classifiers with actual borderline cases. In addition, hardening of e.g. posterior probabilities into class labels is not necessary, avoiding the corresponding information loss and increase in variance. We implement the proposed performance measures in the R package "softclassval", which is available from CRAN and at http://softclassval.r-forge.r-project.org. Our reasoning as well as the importance of partial memberships for chemometric classification is illustrated by a real-word application: astrocytoma brain tumor tissue grading (80 patients, 37000 spectra) for finding surgical excision borders. As borderline cases are the actual target of the analytical technique, samples which are diagnosed to be borderline cases must be included in the validation.Comment: The manuscript is accepted for publication in Chemometrics and Intelligent Laboratory Systems. Supplementary figures and tables are at the end of the pd

Raman-spektroskopische Diagnostik von primären Hirntumoren mit Hilfe weicher chemometrischer Klassifikationsmethoden

Das Ziel dieser Arbeit ist, neue Möglichkeiten der Hirntumordiagnostik an nativem Gewebe aufzuzeigen, um mit neuen chemometrischen Methoden den Weg zu einer neuen in vivo Tumordiagnostik zu eröffnen. Die experimentelle Grundlage ist Raman-Spektroskopie an Hirngewebe. Normales Hirngewebe, Astrozytome, Glioblastome und Lymphome werden auf der Grundlage ihrer Schwingungsspektren mit Hilfe einer zu diesem Zweck entwickelten chemometrischen Datenauswertung beurteilt. Raman-Spektren können mit faseroptischen Sonden in vivo aufgenommen werden. Ein geeignetes chemometrischesModell könnte aus diesen Spektren innerhalb von Millisekunden auf die Gewebeart schließen. Das führt zu zwei Szenarien für eine in vivo Raman-Diagnostik. Einerseits könnten Raman-Sonden als Werkzeug während der Operation benutzt werden. Der Neurochirurg könnte damit während der Operation messen, ob der Tumorrand erreicht ist. Andererseits lassen sich diese Faseroptiken in Endoskope oder Biopsienadeln integrieren. Raman-Spektroskopie könnte helfen, die Diagnostik auf der Basis von Nadelbiopsien grundlegend zu verbessern. Biopsieproben sind mitunter zu klein, um eine sichere histologische Diagnose zu stellen. Eine Raman-unterstützte Diagnostik kann unmittelbar nach der Aufnahme der Spektren zur Verfügung stehen. Ist mit einem Spektrum keine sichere Aussage möglich, so können weitere Spektren aufgenommen werden, um zu einer sicheren Diagnose zu gelangen. In einem ersten Schritt könnte so die Raman-Spektroskopie der Stereonavigation bei der Entnahme der Biopsieproben helfen und sicherstellen, dass die Biopsieprobe tatsächlich aus dem Tumor entnommen wird. Letztlich könnte ganz auf die Entnahme von Tumorgewebe verzichtet werden. Bei der Entnahme einer Biopsie können Tumorzellen entlang des Wegs der Hohlnadel verschleppt werden, so dass weitere Tumorherde entstehen können. Raman-Sonden können mit Frontlinsen ausgestattet werden, so dass sie tiefer im Inneren des Gewebes messen. Mit einer solchen Technik ließe sich das Risiko, Tumorzellen zu verschleppen, stark verringern

Comparability of Raman Spectroscopic Configurations: A LargeScale Cross-Laboratory Study

The variable configuration of Raman spectroscopic platforms is one ofthe major obstacles in establishing Raman spectroscopy as a valuable physicochemicalmethod within real-world scenarios such as clinical diagnostics. For such real worldapplications like diagnostic classification, the models should ideally be usable to predictdata from different setups. Whether it is done by training a rugged model with data frommany setups or by a primary-replica strategy where models are developed on a‘primary’setup and the test data are generated on‘replicate’setups, this is only possible if the Raman spectra from different setups are consistent, reproducible, and comparable.However, Raman spectra can be highly sensitive to the measurement conditions, and they change from setup to setup even if thesame samples are measured. Although increasingly recognized as an issue, the dependence of the Raman spectra on the instrumentalconfiguration is far from being fully understood and great effort is needed to address the resulting spectral variations and to correctfor them. To make the severity of the situation clear, we present a round robin experiment investigating the comparability of 35Raman spectroscopic devices with different configurations in 15 institutes within seven European countries from the COST(European Cooperation in Science and Technology) action Raman4clinics. The experiment was developed in a fashion that allowsvarious instrumental configurations ranging from highly confocal setups tofibre-optic based systems with different excitationwavelengths. We illustrate the spectral variations caused by the instrumental configurations from the perspectives of peak shifts,intensity variations, peak widths, and noise levels. We conclude this contribution with recommendations that may help to improvethe inter-laboratory studie